Validade de Conteúdo, Construto e Critério
Análise de Dados Ambientais
Universidade Estadual de Feira de Santana (UEFS)
VALIDADE
DE INSTRUMENTOS DE AUTORRELATO
VALIDADE DE INSTRUMENTOS
O que é validade
Validade do teste avalia se o teste mede o que se propõe a medir
(Nunes & Primi, 2010; Urbina, 2007)
Julgamento integrado sobre o grau em que as evidências empíricas e a fundamentação teórica do teste suportam a adequação das interpretações e ações baseadas nos escores dos testes
(Messick, 1990)
O grau em que todas as evidências acumuladas corroboraram a interpretação pretendida dos escores de um teste
(AERA, APA, NCME, 2014, p. 11)
VALIDADE DE INSTRUMENTOS
VALIDADE DE INSTRUMENTOS
O que é validade
O grau em que todas as evidências acumuladas corroboraram a interpretação pretendida
dos escores de um teste
(AERA, APA, NCME, 2014, p. 11)
Validade é questão de grau
Validade é propriedade dos escores e não do teste per si.
VALIDADE DE INSTRUMENTOS
VALIDADE DE INSTRUMENTOS
Duas grandes correntes de validade
Modelo tripartite (AERA, APA, & NCME, 1966)
VALIDADE DE INSTRUMENTOS
Duas grandes correntes de validade
Modelo atual (AERA, APA, & NCME, 1999; 2014)
VALIDADE DE CONTEÚDO
Em que medida e quão bem o teste avalia o construto de interesse
Procedimento em que se avalia:
VALIDADE DE CONTEÚDO
VALIDADE DE CONTEÚDO
Validade de conteúdo
Diferentes tipos
VALIDADE DE CONTEÚDO
| Tipo |
|---|
| Porcentagem de Concordância |
| Índice de Validade de Conteúdo |
| Razão de Validade de Conteúdo |
| Coeficiente de Validade de Conteúdo |
| Coeficiente de Correlação Intraclasse |
| Kappa de Cohen (dicotômico) |
| Kappa de Cohen ponderado (politômico) |
| Coeficiente de concordância de Kendall |
| Kappa de Fleiss |
| Bland-Altman |
ESTRUTURA INTERNA
Todo instrumento reflete um construto
A estrutura empírica do instrumento reflete a estrutura teórica do construto?
ESTRUTURA INTERNA
Análise fatorial
ESTRUTURA INTERNA
ESTRUTURA INTERNA
O que é uma variável latente
ESTRUTURA INTERNA
ESTRUTURA INTERNA
e itens gera agrupamentos
or acaso
eduzidos de Personalidade
Análise fatorial
ESTRUTURA INTERNA
*Exemplos:** *Depressão
Tristeza Frequente Baixa Autoestima
Falta de sentido na vida
Problemas de alimentação
Apatia
Problemas de sono Choro constante Ideação suicida
ESTRUTURA INTERNA
ESTRUTURA INTERNA
Dois tipos distintos de Análise Fatorial
ESTRUTURA INTERNA
ESTRUTURA INTERNA
Formas de se avaliar a adequação da estrutura fatorial:
CONFIABILIDADE
Confiabilidade / Fidedignidade / Precisão
Busca avaliar os erros da mensuração
Erro da mensuração: Qualquer flutuação nos escores resultantes de fatores relacionados ao processo de mensuração que são irrelevantes ao que está sendo medido (Anastasi & Urbina, 2000) Fidedignidade:
Reflete a qualidade dos escores do teste e indica o quanto eles são livres de erros
Consistência interna
Teste-reteste ESTRUTURA INTERNA
CONFIABILIDADE
Consistência interna
CONFIABILIDADE
Split-Half (Método das Metades)
CONFIABILIDADE
Split-Half (Método das Metades)
Item** ****1**
Item** ****2**
Item** ****3**
Item** ****5**
Item** ****6**
ESTRUTURA INTERNA
CONFIABILIDADE
Split-Half (Método das Metades)
ESTRUTURA INTERNA
CONFIABILIDADE
Críticas ao método Split-Half
ESTRUTURA INTERNA
CONFIABILIDADE
KR-20
CONFIABILIDADE
KR-20 (Kuder & Richardson, 1937)
ESTRUTURA INTERNA
CONFIABILIDADE
KR-20 (Kuder & Richardson, 1937)
CONFIABILIDADE
Alfa de Cronbach (Cronbach, 1951)
ESTRUTURA INTERNA
CONFIABILIDADE
Alfa de Cronbach (Cronbach, 1951)
CONFIABILIDADE
Alfa de Cronbach (Cronbach, 1951)
*Equivalência Tau (--**equivalence)*
ESTRUTURA INTERNA
| Itens fictícios de uma Escala de Depressão |
|---|
| 01. Eu me mataria se eu tivesse oportunidade |
| 02. Tenho chorado mais do que o de costume |
CONFIABILIDADE
CONFIABILIDADE
Outras alternativas (Congeneric models)
CONFIABILIDADE
Consistência Interna (, CR, )
CONFIABILIDADE
Teste-reteste
CONFIABILIDADE
Não é apropriado para construtos instáveis (e.g., humor)
CONFIABILIDADE
CONFIABILIDADE
Fidedignidade não garante validade
“Os escores do teste podem ser relativamente livres de erros de mensuração, e ainda assim,
não serem úteis como base para as inferências que precisamos fazer”
(Urbina, 2007, p. 159)
Validade
Fidedignidade
CONFIABILIDADE
CONFIABILIDADE
Fidedignidade não garante validade
“Os escores do teste podem ser relativamente livres de erros de mensuração, e ainda assim,
não serem úteis como base para as inferências que precisamos fazer”
(Urbina, 2007, p. 159)
CONFIABILIDADE
RELAÇÕES COM MEDIDAS EXTERNAS
§
e
e
§
a
se associam de maneira teoricamente
belece com outros construtos (Geisenger, 1992;
Avalia em que medida os escores do test
sperada com medidas externas
Rede nomológica (Cronbach & Meehl, 1955).
§ Refere-se à rede de relações que o construto est Messick, 1980).
CONFIABILIDADE
RELAÇÕES COM MEDIDAS EXTERNAS
§
e
e
§
a
se associam de maneira teoricamente
belece com outros construtos (Geisenger, 1992;
Avalia em que medida os escores do test
sperada com medidas externas
Rede nomológica (Cronbach & Meehl, 1955).
§ Refere-se à rede de relações que o construto est Messick, 1980).
CONFIABILIDADE
RELAÇÕES COM MEDIDAS EXTERNAS
Avalia em que medida os escores do teste se associam de maneira teoricamente esperada com medidas externas
VALIDADE CONVERGENTE
Convergente** ****negativa**
Dois instrumentos que avaliam construtos opostos – otimismo e depressão
Convergente** ****positiva**
Dois instrumentos que avaliam construtos semelhantes – estresse e ansiedade
Em que medida, instrumentos que mensuram construtos semelhantes se associam de acordo com o esperado.
CONFIABILIDADE
VALIDADE CONVERGENTE
Burnout
Ansiedade
Estresse
Afetos Negativos
Depressão
Validade** ****convergente**** ****positiva**
Espera-se que o nível de correlação seja moderada (0,40 > r < 0,70)
R2 = 0,49 (49%) CONFIABILIDADE
Problematização
Ao desenvolver ou validar escala para mensuração de engajamento no trabalho, seria
plausível ter como medidas externas escalas de autoeficácia ocupacional e de produtividade.
CONFIABILIDADE
VALIDADE CONVERGENTE
Problematização
Pessoas que apresentam altos níveis autoeficácia ocupacional se engajam mais no trabalho (Bakker &
Sanz-Vergel, 2013; Guarnaccia et al., 2016; Skaalvik & Skaalvik, 2016).
Quanto maior o nível de engajamento, maior tende a ser o de produtividade (Eldor, 2017; Mäkikangas, Aunola, Seppälä, & Hakanen,2016).
CONFIABILIDADE
VALIDADE CONVERGENTE
Problematização
Autoeficácia ocupacional não produz interesse (Tracey, 2009). Ao contrário, é o interesse no trabalho (motivação intrínseca) que tende a levar o indivíduo se dedicar, a se aperfeiçoar e a se tornar competente e autoeficaz no exercício profissional (Bonitz & Larson, 2010; Rottinghaus, Larson, & Borgen, 2003).
CONFIABILIDADE
VALIDADE CONVERGENTE
Problematização
Testar validade convergente por meio de correlação não garante que o instrumento mede,
de forma adequada, o construto o qual se propõe.
Instrumento necessita portanto de excelentes evidências de validade de conteúdo
VALIDADE CONVERGENTE
Problematização
A testagem de validade convergente por meio de correlações é amplamente utilizada na
Psicologia
Técnica é limitada.
Testes de correlação não são capazes de definir a rede nomológica de um construto, já que
não se pressupõe direcionalidade entre as variáveis
Apenas a informação que ambos os construtos se influenciam mutuamente.
O construto “Engajamento no trabalho” poderia ser substituído por algum outro construto
relacionado, e a correlação poderia se manter.
CONFIABILIDADE
VALIDADE DISCRIMINANTE
Duas variáveis que teoricamente não se relacionam, empiricamente não devem se relacionar também.
Relacionamento Interpessoal
Raciocínio Lógico
Espera-se que o nível de correlação seja baixo ou nulo (*r** < 0,30; r*2 = 0,09)
VALIDADE DE CRITÉRIO
Concorrente
A mesma variável avaliada por duas medidas distintas (ex: Duas medidas de transtorno de pânico) Preditiva
Predição de comportamento futuro CONFIABILIDADE
VALIDADE DE CRITÉRIO
Concorrente
II
Pode ser feito por correlação
Espera-se que o nível de correlação seja alta (*r** > 0,70; r*2 = 0,49)
Alto nível de variância compartilhada (r2)
(AERA et al., 2014)
Depressão
I
Depressão
I Depressão
II
CONFIABILIDADE
VALIDADE DE CRITÉRIO
Preditiva
Acidentes no trânsito Desempenho acadêmico Desempenho profissional Queda em Idosos Comportamentos Violentos
CONFIABILIDADE
VALIDADE BASEADA NO PROCESSO DE RESPOSTA
Validade baseada no processo de resposta
EVIDÊNCIAS BASEADAS NO PROCESSO DE RESPOSTA
VALIDADE BASEADA NO PROCESSO DE RESPOSTA
Validade baseada no processo de resposta
Avaliações teóricas e empíricas sobre a forma como os participantes respondem a escala e seus processos envolvidos
Se a resposta do sujeito é teoricamente/empiricamente plausível (esperada)
VALIDADE BASEADA NO PROCESSO DE RESPOSTA
O que é DIF
DIF acontece quando dois sujeitos que tem o mesmo nível de traço latente respondem de maneira diferente ao item
VALIDADE BASEADA NO PROCESSO DE RESPOSTA
INFIT e OUTFIT
Infit → Pessoas com nível de traço latente equivalente à dificuldade do item não respondem como o esperado
Outfit → Pessoas com nível de traço latente diferente da dificuldade do item não respondem como o esperado
VALIDADE BASEADA NO PROCESSO DE RESPOSTA
Desordenação de Thresholds
EVIDÊNCIAS BASEADAS NO PROCESSO DE RESPOSTA
VALIDADE CONSEQUENCIAL
Validade** ****consequencial**
VALIDADE CONSEQUENCIAL
Validade** ****consequencial**
VALIDADE CONSEQUENCIAL
Validade** ****consequencial**
VALIDADE CONSEQUENCIAL
REFERÊNCIAS
American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014).
*Standards for educational and psychological testing.** *Washington, DC: American Educational Research Association.
Bakker, A. B., & Sanz-Vergel, A. I. (2013). Weekly work engagement and flourishing: The role of hindrance and challenge job demands. Journal of Vocational Behavior, 83(3), 397–409. doi:10.1016/j.jvb.2013.06.008
Brown, W. (1910). Some experimental results in the correlation of mental abilities. British Journal of Psychology, 3, 296–322.
Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297–334. https://doi.org/10.1007/BF02310555 Eldor, L. (2017). Looking on the Bright Side: The Positive Role of Organisational Politics in the Relationship between Employee Engagement
and Performance at Work. Applied Psychology, 66, 233–259. doi:10.1111/apps.12090
Fornell, C., & Larcker, D. F. (1981). Evaluating structural equations models with unobservable variables and measurement error. Journal of Marketing, 18(1), 39-50. doi:10.2307/3151312
Kuder, G. F., & Richardson, M. W. (1937). The theory of the estimation of test reliability. Psychometrika, 2, 151–160. https://doi.org/10.1007/BF02288391
Mäkikangas, A., Aunola, K., Seppälä, P. and Hakanen, J. (2016), Work engagement-team performance relationship: shared job crafting as a
moderator. Journal of Occupational and Organizational Psychology, 89, 772–790. doi: 10.1111/joop.12154
REFERENCIAS
REFERÊNCIAS
Messick, S. (1980). Test validity and the ethics of assessment. American Psychologist, 35, 1012-1027.
Nunes, C. H. S. S., & Primi, R (2010). Aspectos técnicos e conceituais da ficha de avaliação dos testes psicológicos. Em Conselho Federal de Psicologia - CFP (Org.), Avaliação psicológica: diretrizes na regulamentação da profissão (pp. 101-128). Brasília: CFP.
Raykov, T. (1997). Estimation of composite reliability for congeneric measures. Applied Psychological Measurement, 21(2), 173-184.
Skaalvik, E. M., & Skaalvik, S. (2016). Teacher Stress and Teacher Self-Efficacy as Predictors of Engagement, Emotional Exhaustion, and
Motivation to Leave the Teaching Profession. *Creative** Education, 7*, 1785-1799. doi: 10.4236/ce.2016.713182 Spearman, C. (1910). Correlation calculated from faulty data. British Journal of Psychology, 3, 271–295.
Schweizer, K. (2011). On the changing role of Cronbach’s α in the evaluation of the quality of a measure [Editorial]. European Journal of Psychological Assessment, 27(3), 143–144. https://doi.org/10.1027/1015-5759/a000069 Cizek, G. J., Bowen, D., & Church, K. (2010). Sources of validity evidence for educational and psychological tests: A follow-up study. Educational and Psychological Measurement, 70(5), 732-
Urbina, S. (2007). Fundamentos da testagem psicológica. Porto Alegre: Artmed.
REFERENCIAS
Obrigado!
Luiz Diego Vidal Santos
Universidade Estadual de Feira de Santana (UEFS)
UEFS — Análise de Dados Ambientais